平成11年度 研究報告 大分県産業科学技術センター
全周囲画像から任意視線に対応する透視投影画像の生成
佐藤哲哉
大分県・工業技術院研究交流センター
Por s po￠t i v●
l m
さgO
G
on●
r さt i on f r om
O
m
ni di r o￠t i onさ暮I m
■
g●
さ
Tet s uya SATO
Oi t a−Åi s t J oi nt Res ear c h Cent er
要旨
全周囲画像は、監視装置、ロボットや自立走行車等に搭載する視覚装置、マルチメディア情報機器等として今
後広範な活用が想定される．このような想定の1つとして遠隔地の周囲の任意方向の画像を視線に追随して常に視覚 上違和感のない透視投影画像としてディスプレイやHMDに実時間で表示するテレプレゼンスへの応用がある．本報告 では、既に報告しその有用性を示したカメラの回転を伴わない小型で堅固な構造の2台のカメラと2つの反射ミラー を用いた全周囲カメラを用いて、全周囲画像から任意視線に対応する透視投影画像の生成について述べる．全周歯画像 を円筒投影座標系で表現しておくことで簡単な変換式により周囲の任意視線を中心とする透視投影画像に容易に変換す ることができることを示す．
1．はじめに
全周囲画像は，異常の発見や作業現場の安全確保のための
監視装置，ロボットや自立走行車等に搭載する視覚装置，マ
／レチメディア情報機器等として広範な活用が想定されている．
近年，遠隔地の映像を居ながらにして臨場感に富む映像とし
て体験できるテレプレゼンス技術が注目されている1）。体験者
の視線の移動に対応した画像を実時間でディスプレイやHMD に表示することにより体験者は，あたかも遠隔地にいると同
等の実感を得ることができる．このような体験者の視線移動
に伴う映像を取得するためにカメラを回転することも考えら
れるが、追随遅延が生じ，また，急速な視線移動にカメラ回
転が追随できない導体験者に違和感を与える．このため，遠
隔地の映像は，全席舞画像として常時実時間で取得する必要
がある．体験者の視線移動に応じ対応する画像を切り出し，
ディスプレイやHMDに視覚上達和感のない透視投影画像とし て表示する必要がある．
全周囲画像を取得するカメラは、実用上、従来のカメラが
もつと同様な①全周囲画像の実時間表示②低画像歪③高解像
度④小型⑤堅固といった要件をもつことが望まれる巨既に比
較的遠方領域の画像を対象とする′ j 、型で堅固な構造の2台の
カメラと2つの反射ミラーを用いた全周囲カメラについて報 告しその有用性を示した2）．本報告では、この全囁囲カメラを
用いて，全周囲画像から体験者の任意視線に対応する画像の切
り出しと透視投影画像への変換，表示について述べる．
2．全周囲カメラの原理
基本原理は上下に配置された2台のカメラと互いに直角に配 置された2つの三角柱型反射ミラーにより成る．釘i gl ）各々
のカメラには水平画角が90度以上の広角レンズが装着されて いる。レンズ中心aに対するその反射像はミラー面の境界を中
心として，互いに反対方向の2方向の情報を持つ。同様に，レ
レンズ中心a■■／丁 ミラー面
Fi gl 。基本構成図
、ノブ血．予、㌦！ノー拓トス＝．畠土ヒ刑仁；−良＝トキニ；、＿L′ nR言紬〉ヰ 1才l ヽ巨ナ ′ ／’ ■ ！1’ u■ リリトーハコ 7’ もノーー′ ￣了1」エコ三ムメ⊥オー 、 ／ U＞ノんⅥ】淋l ふI −j コLV ■ l 」
反対方向の2方向の情報を持つ．このことから，2つの三角柱
型反射ミラーによる反射像は全周（4方向）の画像情報を含ん でいる．全周囲画像楓 これら4方向の画像を用いて生成され
る．
3．全席匪カメラ画像の特徴
金岡囲カメラの2台のカメラから得られる原画像は下記要 因の影響により大きな（画像）歪みが生じている．
。広角レンズ：広角レンズによる画像歪みの要因は主にレン
ズの歪曲収差にある．
・カメラ光軸の額き：全周囲カメラの構造上カメラ光軸が懐 く．その結果得られる画像は斜視画像となる．
・反射ミラーによる像の反転：実環境をミラーを介して撮像 する．裸像画像は像が反転する．
・棺俊領域の重複：広角レンズで撮像された4方向画鰍こは 相互に重複額域がある．
このように得られた4方向の画像に対して画像歪み、反転、画
像間の境界処理等の処理を施し水平画角90魔の4枚の透視投
平成11年度 研究報告 大分県産業科学技術センター
4．2視線検出と透槻醐への逆変換
視線の検出は，首の回転角度を基準とする．本稿では，視線
検出については述べない．視線が検出されたとして議論する。
円筒座標系で表現された周囲360魔の全周囲画像と首の回転 角度に相当する視線位置から視線に対応する画像の切り出しと，
表示上違和感のない透視投影画像への変換について検討する．
円筒投影廃語系金筋囲画像と視線位置の間系をFi 離．に示す．視
線位置（首の回転角度）に相当する全周囲画像上の位置を基準 として視線対応画像Eの切り出しを行う．その画像上の画素位
置を視線位置を0としてⅩ’ 。，yチ。で表す・次に，式（3），（4）に
より透視投影画像に変換する．軌 式（鉱（4）は式（1），（2）の逆
変換により求めることができる．（Ⅹ’ ，y’ ）は円筒投影座標系
画像上の（Ⅹ’ 。，y’ 。）に対応する透視投影画魚上の画素位置
である．
カメラ1r
」 ＿ ＿−．」
毒・
画素再配鷹全周囲画像
Fi g2．全周囲画像の生成
影画像の連結からなる全周囲画像を生成する3）∼5）．全周囲画
像の生成手順をFi g2．に示す．
ヰ．座標変換
4．1円筒投影座標変換
3項で生成された全周囲画像は固定された4つの視点による 広角（水平画角90度）の透晩投影画像からなる画像連結で構 成されている。このため，画像間の連結境界付近で視点の相違
からくる視覚的な不連続性に関する間庸が生じる．この間旛を
回避するため、式（1），（2）により等価的に360魔の水平画角
をもつ円筒投影座標系での画像表現に変換する8）．この齢を
Fi 姐に示す。ここで、Qは，透視投影画像上の任意の画素点と
し，Ⅹ，yをQの画素位置とする．この時，Ⅹ。，y。はQに対
応する規格化された円筒投影座標系での画素位置である．
Od 900 柑00
「古￣￣￣￣「甘−「￣￣壱
2700 3600
二ゝ、
視線位置
や ▲yo′ ▼
−−サ XO一
■ ヽl ■ ▼ ■ ▼ ▲ ■ ■ ヽ ■ ■
Fi g∠星。円筒投影座標系全周囲画像と視線位置
柚再・享〕（3）
（4）
x。＝f ・・8＝・ぎ・触・1 打 方
視線に対応する透視投影画像への変換手順をy短5．に示す．こ
こで，円筒投影座標系への変換は，他の画像補正パラメータと
同様にあらかじめ補正データテーブルにおいてオフタイムに計
算しておくことができる，視線位置情報の入力に対して画像切
り出しと透視投影画像変換計算をオンタイムに実施し画素の再
配置処理によりディスプレイまたさも HMDに表示する。 yo＝f ・臨nα ニf J ∴
、−● 声音￣
−・；バ、：．
響 G
、 − J ‥＼ 、
て㌃′ ′ 〆、
て￣′ 二二埼＝草〆′ プ ‘ ロロ ＼、軒、1、‡ ＝一ノ〆′
一考〈z 〉
摘定〆丁一′ ∴J L
＿′〆′ ＋腐
緑
．．＞T−‘ ▲ ′
￣ −￣「、ヽ
1’
〆一ユJ
一づ二ふで ＼
＼、箋∈芝〉
透視投影冊面A 「＼ ：、
Fi g3．座標変換
横線対魔腐儲 （透視投影画ヰ）
Fi g5．視線に対応する透視投影画像への変換
平成11年度 研究報告 大分県産業科学技術センター
円筒投影座標への変換は，他の画像補正パラメータと同様にあ
らかじめ補正データテーブルに沸、てオフタイムに計算してお
くことができる．視線位置情報の入力に対して画像切り出しと
透視投影画像変換計算をオンタイムに実施し画素の再配置処理
を行いディスプレイまたは，HMDに表示する．これら処理さも
基本的には，定型的な画素の並び替え処理であり，高速処理が
可能である．今後，実時間処理。表示に向けた取り組みを行う．
く参考文献〉
1）山薄地：信学誌．VoL詣1心江．NO．5pp98軌擁7も
2）佐藤，儒学98全大，か1ト149．
3）佐藤，信学98ソサイアティ大，㌻1ト93．
4）佐藤，大分県産業科学技術センター平成9年度研究報告
5）佐藤，大分県産業科学技術センター平成10年度研究報告
6）佐藤，信学99全大，㌻11−110．
5．変換された画像
Fi g6。に3項による4枚の透視投影画像の連結による全周囲
画像を示す．Fi g7．にFi 酪の円筒投影画像の連結による全周囲
画像を示す．ここでは，全周囲画像をパノラマ表現とせず，便
宜的に2段表示としている．このような画像に対してFi 酪の画
像連結部Pに視線位置がある腸合を考える。P近傍ではFi 酪の
場合には画像間の観点の相違により実環境の直線の不達練乳
また，Fまg7．の場合には実環境の直線が曲線となる等の視覚的
な違和感が観劇される．尚，Pを含む領域楓・直線的に配置さ
れた実験棚となっている。視線位置Pを中心として切り出され
た画像をFi g8．に示す。Fi g8。を透視投影画像に変換した画像を
Fまが．に示す．違和感のない実環境の透視投影画像となっている．
6．奮とめ
4枚の透視投影画像からなる全周囲画像を円筒座標系で表現
しておくことで簡単な変換式により席顔の任意視線を中心とす
る透視投影画像に容易に変換することができることを示した．
Fi g7．円筒投影全席囲画像
Fi g8．Pを中心とする円筒投影画像
Fi g9．透視投影画像への逆変換
